Di sản của Andropov vẫn là một chủ đề được tranh cãi nhiều tại Nga và những nơi khác, cả trong giới học giả và trên truyền thông đại chúng. Ông vẫn là tâm điểm của những bộ phim tài liệu truyền hình đặc biệt tại những thời điểm kỷ niệm quan trọng. Với tư cách lãnh đạo KGB Andropov là người có thái độ cứng rắn với những người phản đối, và tác gia David Remnick, người phụ trách mảng củ đề Liên xô cho tờ Washington Post trong thập niên 1980, đã gọi Andropov là "tham nhũng tồi tệ, một con thú".[18] Alexander Yakovlev, sau này là một cố vấn của Mikhail Gorbachev và là nhà tư tưởng của perestroika, đã nói "Theo một cách tôi luôn nghĩ Andropov là người nguy hiểm nhất trong số họ, đơn giản bởi vì ông khôn ngoan hơn những người còn lại."[18] Tuy nhiên, chính Andropov đã gọi Yakovlev quay trở về giữ chức vụ cao cấp tại Moscow năm 1983 sau một giai đoạn lưu đày trên thực tế với tư cách đại sứ tại Canada sau khi tấn công vào chủ nghĩa sô vanh. Yakovlev cũng là một đồng nghiệp thân cận của trợ lý của Andropov vị Tướng KGB Yevgeny Primakov, sau này là Thủ tướng Nga.

Theo thuộc cấp cũ của ông vị tướng Securitate Ion Mihai Pacepa,

"Ở phương Tây, nếu Andropov được nhớ tới, là bởi việc ông trấn áp dữ dội sự đối đầu chính trị trong nước và vai trò của ông trong việc lập kế hoạch tấn công Tiệp Khắc năm 1968. Trái lại, những lãnh đạo của các cơ quan tình báo ở các nước thuộc Khối hiệp ước Warszawa cũ, khi tôi từng là một trong số họ, coi Andropov là người biến KGB thành cánh tay đắc lực giúp Đảng Cộng sản quản lý Liên Xô, và là người chỉ đạo các chiến dịch tung hoả mù trong thời kỳ mới của nước Nga với mục tiêu cải thiện những hình ảnh đã xấu đi rất nhiều của các lãnh đạo Liên Xô ở phương Tây."[19]

Dù lập trường cứng rắn của Andropov trong cuộc nổi dậy tại Hungary năm 1956 và nhiều vụ trục xuất và mưu đồ mà ông phải chịu trách nhiệm trong thời gian lãnh đạo khá dài tại KGB, ông dần được nhiều nhà bình luận coi là một nhà cải cách nhân văn, đặc biệt khi so với tình trạng trì trệ và tham nhũng trong những năm cuối thời kỳ cầm quyền của người tiền nhiệm, Leonid Brezhnev. Andropov, "a throwback to a tradition of Leninist asceticism",[18] hoảng sợ trước tình trạng tham nhũng thời Brezhnev, và đã ra lệnh điều tra và bắt giữ những kẻ tham nhũng trắng trợn nhất. Những cuộc điều tra gây ra tình trạng sợ hãi đến nỗi nhiều thành viên trong nhóm của Brezhnev "shot, gassed or otherwise did away with themselves."[18] Chắc chắn ông được mọi người coi là nghiêng về biện pháp cải cách từ từ và có tính xây dựng hơn Gorbachev; hầu hết các suy đoán tập trung quanh việc liệu Andropov đã có thể cải cách Liên bang Xô viết theo một cách để không dẫn nó tới sự giải tán cuối cùng.

Truyền thông phương Tây ưa thích Andropov bởi ông được cho là người đam mê âm nhạc và rượu whiskey của phương Tây.[20]. Tuy nhiên, chúng chỉ là những lời đồn đại không có căn cứ. Một điều cũng đáng nghi ngờ liệu Andropov có biết nói tiếng Anh hay không.[21]

Andropov và Wojciech Jaruzelski

Trong thời gian làm lãnh đạo ngắn ngủi của mình, hầu hết ông đều ở trong tình trạng sức khoẻ yếu, khiến những người tham gia tranh luận không có lý lẽ chắc chắn về tình trạng của bất kỳ một sự kéo dài thời gian cầm quyền lý thuyết nào không. Như với thời gian cầm quyền ngắn của Lenin, các nhà phân tích có nhiều khoảng trống để ủng hộ các giả thuyết ưa chuộng của mình và phát triển sự sùng bái cá nhân nhỏ đã được hình thành xung quanh ông.[22]

Andropov sống tại 26 Kutuzovski prospekt, cùng căn nhà mà Suslov và Brezhnev cũng ở. Đầu tiên ông cưới Nina Ivanovna. Bà sinh cho ông một người con trai và anh ta đã chết trong những hoàn cảnh bí ẩn hồi thập niên 1970. Năm 1983 bà bị chẩn đoán ung thư và trải qua một cuộc phẫu thuật thành công. Ông gặp người vợ thứ hai, Tatyana Filipovna, trong Thế chiến II tại Mặt trận Karelian khi bà là một thư ký của Komsomol. Bà đã bị một cơn suy nhược thần kinh trong Sự kiện năm 1956 ở Hungary. Chỉ huy cận vệ của Andropov đã thông báo với Tatyana về cái chết của chồng minh. Bà đã bị tác động quá mạnh để có thể tham gia vào lễ tang và trong buổi lễ những người thân đã phải dìu bà đi. Trước khi quan tài Andropov được đóng lại. Bà đã chạm vào tóc ông và hôn ông một lần nữa. Năm 1985, một bộ phim dài 75 phút được phát sóng trong đó Tatyana (không xuất hiện trước công chúng từ sau lễ tang Andropov) đọc những bài thơ tình yêu do chồng mình viết. Tatyana ốm và qua đời tháng 11 năm 1991. Andropov có một con trai, Igor (chết tháng 6 năm 2006) và một con gái, Irina (sinh năm 1946).